借力计算机视觉及深度学习，纽卡斯尔大学开发实时、自动化奶牛跛行检测系统
By 超神经
内容一览：近期，纽卡斯尔大学联合费拉科学有限公司联合开发了一个针对多头奶牛的自动化、实时跛行检测系统。该系统能够按照跛行评分系统将奶牛进行分类，并且准确度高达 94%-100%。目前，该研究成果已发表在《Nature》上。
关键词：奶牛跛行 畜牧业 机器学习
作者 | 缓缓
编辑 | 三羊
因口蹄疫等疾病造成的奶牛跛行对畜牧业而言，已成为一个全球性话题。相关科普显示，它不仅会导致奶牛产奶量降低、繁殖效率下降，还会导致奶牛过早地被淘汰。国家动物健康监测服务奶业报告数据显示，奶牛有 16% 的淘汰率是由跛行引起的。
跛行已成为奶牛业面临的主要危机之一，因此，早监测、早预防成为规模化养殖奶牛中解决奶牛跛行的有效手段。过往，奶牛业一般都采用人工识别的方法，但这一方法存在效率低、成本高、主观性强等弊病，在这种背景下，奶牛业对奶牛跛行的自动化检测技术需求日益强烈。
近期，来自纽卡斯尔大学的 Shaun Barney、Satnam Dlay 以及来自费拉科学有限公司 (Fera Science Ltd) 的 Andrew Crowe 等人联合开发了一个针对多头奶牛的完全自动化、实时跛行检测系统，并可在整个养殖场内进行部署。这一系统利用计算机视觉和深度学习分析摄像机视野内每头奶牛的姿势和步态，检测准确度可达 94%-100%。目前该研究成果已发表在《Nature》上。
目前该成果已发布在《Nature》
论文链接：
https://www.nature.com/articles/s41598-023-31297-1#Sec7
试验数据集
本次试验中，研究人员首先对英国某农场内 250 头奶牛的运动情况进行视频录像，得到了 25 个视频，然后又把每个视频分解为 3,600 个组成帧。其次，研究人员提取了每秒钟中的 1 帧画面进行了标注。并且为了进一步改善网络泛化能力，他们从 Google 中下载了 500 张牛的相关图片，为每个奶牛标注了 15 个关键点，再将这些图片搜索数据和自己的标注数据相结合，得到了一个大约含有 40,000 条标注信息的数据库。
每头奶牛标注了 15 个关键点
为了用真实数据来评估算法性能，3 名经过 AHDB 认证的观察员同时使用 AHDB 奶牛移动性评分系统对 25 个视频进行了评分，该系统有四个评分等级：0（完全不跛脚）、1（行动稍有不便）、2（跛脚）和 3（严重跛脚），下图显示了由这 3 名观察员的评分分布情况。
3 名观察员对全部奶牛跛行程度评分分布
图中显示，25.2％ 的奶牛跛行评分为 0（橙色），43.2％ 的奶牛跛行评分为 1（绿色），25.6％ 的奶牛跛行得分为 2（红色），6.0% 的奶牛跛行评分为 3（灰色）。
试验过程及成果
本研究使用摄像头和深度卷积神经网络 (Mask-RCNN 算法、SORT 算法和 CatBoost 算法) 来检测多头奶牛的姿态。研究人员通过追踪视频中奶牛背部、头部的关键点，根据提取相关特征指标进行分析，从而检测出跛行程度。
姿态分析算法
研究人员将 Mask-RNN（实体分割算法）中的一部分进行自研后，构建了一个姿态分析算法来对每头奶牛进行姿态估计。该算法使用了来自 Google 数据集中的 500 张图像以及 250 头牛中的 189 头牛的图像来进行训练，而剩余的 61 头牛的图像用来做最终的结果验证。
同时，该算法会高精度定位 15 个关键点位置，并输出每个点的具体坐标位置来用作姿态分析，其中背部有 5 个关键点，头部有 2 个关键点。
跟踪算法
以上步骤中，从将视频分解成组成帧到对每张图像进行关键点标注再到应用 Mask-RNN 来进行姿态分析，都是基于单一的静止图像，因此，试验还需要对奶牛随着时间移动过程进行分析。对此，研究人员采用了 SORT 算法（实时跟踪算法），该算法能够随着时间检测奶牛姿势，获取背部回归曲线、背部区域、颈部回归曲线程度以及颈部角度等指标信息。
跟踪算法的可视化效果
顶部图像中显示了第一帧中的三头奶牛，每个都用不同颜色标记，中间图像中显示了 1 秒之后的奶牛移动情况，并且跟踪算法将刚才标记的奶牛都找出来并成功标记上对应颜色，同理，底部图像则显示了又过了一秒后的奶牛的移动情况。
分类算法
得到由姿态深度学习模型输出的姿态分析结果后，研究人员使用了 CatBoost 算法对奶牛的跛脚情况进行评分分类。这里值得注意的是，为了确保最大程度的泛化，只有最重要的姿态特征结果才应该在最终的训练模型中使用。因此，研究人员进行了一系列变量排列分析，最终得出删除 4 个不重要的指标信息，能够降低误差并对模型性能没有太大影响。
为实现最低误差而删除的 4 个指标信息
最后，为了测试使用 CatBoost 算法的准确性，研究人员采用了三重交叉验证和分类验证的方法来验证模型性能。其中，三重交叉验证结果显示该算法模型能够将每头奶牛按照跛行程度细致地分类到不同跛行评分等级中，且平均准确率为 94%±0.05。
三重交叉验证时验证损失和标准偏差可视化图
总之，研究人员提出，与现有检测奶牛跛行系统相比，本研究成果有以下几个显著优势：
* 能够同时对多头奶牛进行检测。
* 根据奶牛的移动姿态按照常规使用的 AHDB 评分系统进行细致分类。
* 能够在时间维度上追踪、分析每个个体。
* 完全自动化，对挤奶、喂养等生产不会造成任何影响。
最后，研究人员也提出了几点挑战：
该系统在区分跛行等级评分为 0 及 1 的准确率要比区分其他等级时的准确率低很多，未来该研究团队将致力于提升微小特征差异的能力，以准确区分不跛行奶牛和行动稍有不便的奶牛。
该系统需要借助边缘设备（如相机、移动设备或平板电脑）将结果发送到服务器进行处理，从而实现实时观察，这个过程中，如何减弱网络变化带来的性能波动，将成为该项研究未来的工作重点。
该系统易受外部环境条件影响，例如地板与牛蹄颜色相近时，Mask-RCNN 算法识别准确性会降低，因此，添加更泛化的能力训练也成为该项研究未来的工作重点。
牛！AI 推动畜牧行业实现数字化
目前来看，AI 的风刮到畜牧业已成为一个不争的事实。聚焦国外，除了我们本篇介绍的科研成果之外，由于其畜牧业本身规模化程度高、数字化基础好，AI 落地成果已「百家齐放」。例如，荷兰的农业科技公司 Connecterra 开发了「智慧牧场助理」(IDA ,The Intelligent Dairy Farmer’s Assistant) 系统，通过在奶牛的脖子上佩戴可穿戴设备，软硬件配合实时监测奶牛的健康情况。据一位美国牧场主表示，通过应用 IDA 帮助其提高了 10% 的生产力。
将视线转回国内，一方面近年来 AI 发力畜牧业的例子也不在少数。早在前几年阿里就开启了智能养猪事业，而华为也曾联合中国电信和银川奥特推出基于 NB-IoT 的「牛联网」产品「小牧童」。不过，另一方面，也需要看到 AI 在国内畜牧业应用的覆盖面仍谈不上很广，对此，深牧科技 CEO 曾直言，「目前国内很多养殖者在谈起人工智能时，对它的认识还停留在最传统的人脸识别、语音识别上。」
因此，在这一背景下，如何让 AI 在推动畜牧业数字化上发挥更多积极影响，无疑将成为 AI 和畜牧业两个领域需要重点研究的课题之一。当然，对国内相关领域来说，这条道路更是任重而道远。
—— 完 ——
扫描二维码，加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解更多
更多精彩内容（点击图片阅读）